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摘要 : 随 着 数据 记录 速率 的 提高 以 及 对 数据 准确 性 的 要 求 ， 老 的 采集 系统 已 经 不 能 满足 
新 的 要 求 ， 迫 切 要 求 采用 新 的 终端 和 技术 。Mark6 是 麻 省 理工 学 院 研制 的 最 新 的 记录 终端 ， 
已 经 用 于 主要 的 天 文 机 构 ， 比 如 JIVE、KASI、Max-Planck-Institute 等 。 首 先 介绍 了 VLBI 数 
据 记 录 终 端的 现状 ， 给 出 了 上 海天 文 台 对 Mark6 软 硬 件 的 调试 与 配置 ; 然后 介绍 了 使 用 Mark6 
与 CDAS2 互 连 进行 数据 记录 的 测试 及 分 析 ; 最 后 对 Mark6 系统 的 应 用 及 相关 软件 的 后 续 研发 
进行 了 简洁 阐述 。 可 为 后 续 终端 采集 系统 的 安装 、 配 置 及 升级 提供 指导 及 参考 。 
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其 长 基线 干涉 测量 ( Very Long Baseline Interferometry, VLBI) 是 20 世纪 60 年 代 后 期 发 展 起 来 的 射 
©O 电 干 涉 新 技术 。 独 立 本 振 以 及 信号 记录 设备 的 应 用 使 得 角 分 辨 率 得 到 提高 ， 是 现代 天 文 观测 中 角 分 辩 


T 率 最 高 的 观测 技术 之 一 "7 。 
r- 为 了 适应 不 断 提 高 的 数据 速率 、 不 断 增加 的 记录 带宽 、 大 数据 量 以 及 数字 基带 转换 右 各 种 观测 模 
Jing 式 的 需求 ， 新 记录 终端 的 需求 迫在眉睫 。 例 如 ， 在 大 地 测量 学 中 ， 下 一 代 的 其 长 基线 干涉 测量 全 球 观 
e 测 系统 (VLBI2010 Global Observing Syste, VGOS) ,希望 在 全 球 尺度 上 达到 1 mm 的 定位 精度 ， 系 统 使 
pE 用 可 以 快速 旋转 的 12 m 灵敏 小 天 线 ， 并 且 所 需 带 宽 达 到 了 4 GHz 。 天 文学 中 视界 望远镜 (Event 
Horizon Telescope, EHT) 工作 在 毫米 波段 ， 角 分 辨 率 达 到 20 kas， 考 虑 到 大 气相 干 对 观测 幅度 值 的 影 
响 ， 在 短 时 间 内 获得 足够 的 灵敏 度 也 需要 4 GHz 的 带宽 。 两 者 目前 的 计划 记录 速率 都 是 16 Gbps/ 台 
O 起， 未 来 可 能 有 更 高 记录 速率 的 需求 [7]。 
= Mark6 数据 采集 和 记录 系统 是 为 了 满足 日 益 增 加 的 甚 长 基线 干涉 测量 灵敏 度 研 发 的 ， 遵 循 高 速 存 
PT 储 、 容 易 维 护 的 原则 ，Mark6 系统 具有 16 Gbps 的 稳定 记录 速率 ， 文 持 通 用 的 甚 长 基线 干涉 测量 数据 
格式 ， 并 且 可 以 从 原来 老 的 Mark5 系列 数据 采集 记录 系统 平稳 过 度 升 级 。 
目前 主要 的 天 文 数据 处 理 机 构 已 经 将 终端 更 新 到 了 主流 的 Mark6 5 。 上 海天 文 台 也 已 经 配置 了 
Mark6 系统 ， 并 与 上 海天 文 台 第 2 代数 据 采 集 系统 "1( Chinese Data Acquisition System 2，CDAS2 ) 进行 
了 最 新 的 数据 采集 记录 测试 实验 。 


1 其 长 基线 干涉 测量 数据 采集 系统 简介 


数据 终端 采集 系统 是 其 长 基线 干涉 测量 系统 的 重要 部 分 ， 它 文 持 的 数据 采集 、 数 据 编 码 、 记 录 速 
率 、 记 录 模 式 、 数 据 连续 性 等 ， 将 直接 影响 后 续 的 相关 处 理 。 

美国 国家 射电 天 文 台 (National Radio Astronomy Observatory, NRAO) 于 1967 年 研制 了 Mark1， 经 过 50 
年 不 断 的 更 新 和 快速 发 展 ， 目 前 已 经 研发 升级 到 Mark6 系统 ， 其 中 的 记录 媒介 也 从 一 开始 的 磁带 记录 转 
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N El 各 类 终端 的 信息 rm 

数据 记录 媒介 从 磁带 (Mark1, Mark2, Mark3) Tabel 1 The information of different terminals 
转移 到 介 盘 ( 从 Mark4 系统 开始 ) ， 这 主要 得 花 型 号 ”使 用 年 份 。 ”记录 速率 ”记录 介质 
于 硬盘 价格 的 下 降 、 容 量 的 增加 以 及 硬盘 相 比 于 Mark 1 1978 1 Mbps 计算 机 磁带 
磁带 的 诸多 优点 ， 比 如 记录 /回放 数据 质量 高 ， Mark 2 1981 4 Mbps 录像 带 
几乎 没有 误 码 ， 不 会 有 磁头 磨损 问题 等 ”1 。 Mark 3 1986 112 Mbps 视频 磁带 

到 目前 为 止 各 类 终端 的 系统 性 能 及 使 用 年 份 Mark 3B — 1994 112 Mbps 视频 磁带 
信息 见 表 1。 VLBA4 2000 1 Gbps 薄 视 频 磁带 

中 国 VLBI 网 ( Chinese VLBI Network, CVN) Mark 5A ”2004 ”1Gbps/512 Mbps ”硬盘 /磁带 
odo ee nd Mark 5B 2006 1 Gbps 硬盘 
及 新 疆 25 m 望远镜 组 成 ， 作 为 我 国 探 月 工程 。 Mark 5B+ — 2006 2 Gbps 硬盘 
测控 系统 的 其 长 基线 干涉 测量 测 轨 分 系统 , 提供 yasc 2010 às T 
了 嫦娥 卫星 的 精确 角 位 置信 息 ， 与 我 国航 天 测控 Mak 6 —— 2013 16 Gbps 硬盘 
网 一 起 圆满 完成 了 相应 的 测 轨 任 务 " 。 CVN 阵列 — 2016 8 Gbps 硬盘 


中 国 VLBI 网 目前 的 终端 系统 由 上 海天 文 台 
自行 研制 的 数据 采集 系统 (Chinese Data Acquisition System, CDAS ) 和 数据 采集 记录 系统 Mark5B 组 成 。 
Mark6 系统 相 较 于 Mark5 系统 ， 在 以 下 方面 做 出 了 改进 : 增加 了 记录 数据 率 ， 将 硬件 全 部 更 改 为 商用 
产品 (Commercial Off The Shelf，COTS) ， 软 件 全 部 开源 中。 


2 Mark6 数据 采集 记录 系统 


Mark6 系统 起 初 是 专门 为 其 长 基线 干涉 测量 优化 的 基于 磁盘 的 数据 获取 和 记录 系统 。 作 为 Mark5 
系列 的 下 一 代 产 品 ，Mark6 将 稳定 的 记录 速率 提高 到 了 16 Gbps。Mark6 相对 于 原来 的 产品 最 大 的 区 别 
在 于 使 用 了 商用 产品 并 开源 相应 的 软件 。 

2.1 设计 原则 

作为 基于 磁盘 技术 的 最 新 一 代 高 数据 速率 的 其 长 基线 干涉 测量 数据 记录 与 回放 系统 ，Mark6 在 设 
计 之 初 坚持 两 个 原则 ' ， 一 是 主要 原则 ， 在 硬件 完成 的 基础 上 必须 实现 ， 二 是 扩展 原则 ， 在 条 件 允 
许 的 情况 下 考虑 实现 。 

目前 测试 使 用 的 Mark6 已 经 完成 了 主要 的 设计 目标 ， 主 要 目标 如 下 : 

(1) 16 Gbps 持续 稳定 的 记录 能 力 : 在 4 个 硬盘 模 组 全 部 在 线 的 情况 下 ， 保 持 该 速率 进行 持续 记录 ; 

(2) 文 持 通 用 的 其 长 基线 干涉 测量 数据 格式 ， 目前 支持 天 文通 用 的 Mark5B 和 VDIF 数据 格式 ; 

(3) 尽 可 能 使 用 商用 产品 : 数据 传输 使 用 Conduct 公司 设计 的 底板 5 ; 

(4) 开 源 软 件 : 在 Debian 系统 上 可 以 查看 安装 的 所 有 源码 及 相应 的 程序 ; 

(5) 价 格 相对 便宜 : 不 包括 硬盘 的 Mark6 ， 价 格 在 2 万 美元 左右 ; 

(6) 保 持 对 Mark5 的 硬件 投资 : 从 Mark5 可 以 平稳 过 度 到 Mark6， 以 保留 对 Mark5 的 硬件 研发 投 
资 ， 可 以 通过 购买 升级 配件 ， 将 Mark5B 升级 到 Markó, 

2.2 硬件 设计 

Mark6 主要 由 商用 部 件 组 成 ， 其 主 底盘 机 架 内 含有 计算 机 主板 、 硬 盘 ; 机 架 后 面板 有 外 接 显 示 
器 、 键 盘 、 鼠 标 、SFP+ 网 卡 、 千 兆 网 卡 等 接口 。 

Mark6 的 硬件 如 图 1 和 图 2, m 5U 的 主 底盘 (图 中 数字 1、2 标示 ) 、10 的 线 缆 控 制 面 板 和 5 U 
的 扩展 底盘 (图 中 数字 3、4 标示 ) 组 成 ， 共 占用 空间 11 U。 

通过 标记 的 数字 可 以 知道 ， 模 组 1、2、3 、4 在 线 缆 控 制 面 板 的 顺序 为 1、3、2、4， 这 也 对 应 了 
前 后 面板 的 连接 线 顺 序 。 

Mark6 的 前 面板 如 图 1， 包括 4 个 硬盘 模 组 ( 含 1、2 主 模块 组 以 及 3、4 扩展 模块 组 )、 一 个 1U 
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的 线 缆 挡 板 以 及 4 对 SAS 连接 线 ， 其 中 每 对 SAS 负责 一 个 硬盘 模 组 的 高 速 数据 传输 采集 ， 后 面板 如 
图 2， 包 括 4 个 万 兆 光 模块 (用 于 10 G 网 络 数据 的 采集 ) 、2 个 千 兆 光 模 块 (其 中 一 个 用 于 对 Mark6 的 
控制 ， 另 外 一 个 保留 ) 、 及 4 对 SAS 线 接口 (用 于 连接 前 面板 的 硬盘 模 组 ) 。 其 中 通信 控制 接口 位 于 最 
左 端的 1 G 以 太 网 接口 eth0， 右 端 与 之 相 邻 的 ethl 目前 保留 不 用 。 外 接 显示 器 的 视频 图 形 阵 列 ( Video 
Graphics Array, VGA) WAA 2 个 网 络 接口 卡 (Network Interface Cards, NIC) 。 每 个 网 络 接口 卡 都 
有 2 个 10G 的 SFP+ 光 纤 模 块 (10 Gigabit Small Form Factor Pluggable，SFP+) ， 对 应 的 接口 分 别 为 ; 
eth2 、eth3 、eth4 、eth5， 各 自 的 默认 IP 为 192. 168. 1.2-5, 


| =. 
图 1 Mark6 前 面板 图 2 Mark6 后 面板 
Fig.1 Mark6 front panel Fig.2 Mark6 back panel 


2.2.1 硬件 连 线 示意 图 

考虑 到 不 同型 号 的 Mark6 有 不 同 的 接口 规则 ， 针 对 Mark6 主 底盘 型 号 为 4023 及 以 后 的 版 本 ， 硬 
件 的 连 线 示意 图 如 图 3， 连 接 时 需要 特别 注意 硬盘 模 组 的 位 置 与 线 缆 控制 面板 的 连接 顺序 以 及 连接 中 
的 SAS 线 的 顺序 ， 其 中 前 面板 示意 图 上 的 颜色 对 应 后 面板 的 颜色 接口 。 图 4 中 4 个 万 兆 光 模块 eth2 ~ 
eth5 主要 用 于 10 G 网 络 数据 的 接收 ， 千 兆 光 模 块 eth0 用 于 对 Mark6 的 通讯 控制 ，4 对 SAS 线 接口 为 
光 模 块 到 硬盘 模 组 的 数据 传输 接口 。 


i Mark6 后 面板 示意 图 | 
(gan Mark6 mini-SAS BE T | 
|je e 
EL P e» 
| 9 O | — 106 商品 | 
CJC) eps 
EJ E 
图 3 Mark6 前 面板 示意 图 图 4 Mark6 后 面板 示意 图 
Fig.3 Mark6 front panel diagram Fig.4 Mark6 back panel diagram 


2.3 软件 设计 

Mark6 的 操作 系统 采用 通用 的 Debian 发 行 版 系统 "” ， 该 系统 非常 稳定 ， 内 核 和 内 存 的 占用 非常 
小 ， 使 用 的 软件 都 是 经 过 测试 的 稳定 版 本 ， 特 别 适合 用 做 服务 器 操作 系统 。 

Mark6 的 软件 设计 使 用 分 层 的 概念 模型 ，Mark6 软件 模 组 化 顶层 设计 ， 主 要 展示 了 软件 设计 的 两 
个 主要 软件 模 组 ， 即 cplane 和 dplane， 其 中 的 10 MB 数据 块 为 每 次 缓存 的 存储 量 如 图 5。 软 件 主要 包 
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73 cplane, dplane 和 da-client 3 个 组 件 ， 其 中 与 用 
户 交 互 的 称 为 cplane， 与 网 络 和 磁盘 人 硬件 交互 的 称 
为 dplane。cplane 和 dplane 通过 UDP 协议 通信 。 
2.3.1 cplane 

cplane 为 用 户 提 供 了 一 个 接口 ， 并 完成 了 一 
系列 不 同 的 高 层次 监控 和 控制 。 考 虑 到 cplane 
的 复杂 性 、 易 用 性 及 可 实现 性 ， 使 用 Python 语 
言 实 现 。 用 户 的 接口 采用 标准 VSLS WRU, 
该 协议 增加 了 对 Mark6 系统 的 指令 集 。cplane 同 


Mark6 底 盘 


SFP+UDP 包 10 MBOR E “ Á 
时 也 负责 管理 磁盘 模 组 ， 诸 如 挂 载 、 印 载 并 绑 定 Ma 
不 同 的 磁盘 到 一 个 虚拟 磁盘 模 组 ， 最 多 支持 32 图 5 Mark6 软件 设计 图 
个 磁盘 的 管理 。 Fig. 5 Mark6 software design 


2.3.2 dplane 

dplane 负责 所 有 与 高 速 数据 流 相 关 的 任务 。dplane 从 10 G 网 卡 读 取 数据 ， 首 先 放 入 一 个 容量 为 
56 GB 的 随机 存 取 存储 器 (Random-Access Memory, ARM) 大 的 缓存 区 中 ， 然 后 写 人 多 个 磁盘 的 文件 中 。 
数据 的 起 始 时 间 通 过 读 取 数据 包 的 数据 帧 并 解码 帧 头 信息 精确 控制 。 

由 于 10 G 网 卡 需要 达到 4 Gbps 的 记录 速率 ( 非 爆 发 模式 下 ) ， 考 虑 到 dplane 对 高 速 处 理 的 需求 ， 
使 用 C 编写 ， 并 将 代码 进行 了 高 度 优化 。 

程序 dplane 采用 多 线程 编程 ， 针 对 每 个 输入 流 将 单独 分 配 一 个 线程 资源 ， 其 中 分 配 的 缓存 为 全 
部 64 GB 物理 内 存 的 56 GB， 占 比 达 到 87. 5% 。 


3 与 CDAS2 联 调 测试 


Mark6 的 输入 为 10 G 网 络 数据 ， 此 处 采用 上 海天 文 台 自 行 研 制 的 第 2 代数 据 采集 系统 ， 输 入 的 
数据 格式 为 VDIF， 每 台 CDAS2 输入 速率 为 4 Gbps。 

测试 中 ,使 用 4 台 CDAS2 系统 分 别 连接 Mark6 系统 提供 的 4 个 10G 光 模 块 ， 记 录 的 数据 保存 在 
Mark6 人 硬盘 上 ，Mark6 与 CDAS2 的 连接 示意 图 如 图 6。 图 6 展示 了 记录 速率 为 16 Gbps 的 示例 ， 存 储 
使 用 32 Ek SATA 人 硬盘， 每 块 容量 6TB， 共 192 TB, 


l 

l 

1 

l 

1 

1 

| 

| | 

| | 

I ] 

| | | 

[ 5: —— l al e | 
4 Gbps ! ! 32 SATA 硬 得 | 
| 

I l 
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图 6 CDAS2 5 Mark6 互 连 示意 图 
Fig. 6 The connection of CDAS2 and Mark6 


3.1. 测试 步骤 

在 对 Mark6 进行 数据 采集 记录 之 前 ， 首 先 需 要 对 输入 源 进行 设置 ， 实验 中 使 用 CDAS2， 人 带宽 可 
以 设置 100 KHz~32 MHz， 支 持 16 通道 ， 最 高 支持 16 bit 采样 ， 详 细 的 设置 如 图 7。 该 图 为 设置 其 中 
一 台 CDAS2 系统 ， 其 中 带宽 为 8 MHz，8 通道 ，2 bits 采样 。 
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CDAS2 CONTROL PANEL V1.03 20160704 Serial No.: H-2-C-Z-1-1-01D-51103-02F 
Firmware; F-320-60426-400-60719 
Device IP: |. 192 . 168 . 100 |. 125 Disconnect Software: S-320-60309-430-60711 
Sync Source FORMAT 
System Time: 2016-08-04 09:11:27 @NTP @MK5B OVSR Time Sync Device Setting Advanced 
Set 
Format Time: | 2016-08-04 09:11:27 ORTE CN Reboot Data Capture Exit 
Frequency Bandwidth Mask Channel Power 

CH0: 321.750000 MHz CH8: 337.750000 MHz O 32 MHz 00FF0001 ADC |-14.4804 CH7: 37.5778 
CH1: 323.750000 MHz CH9: 339.750000 MHz O 16 MHz Channel Select ADC Q-32.4136 CH8: 37.5166 
CH2: 325.750000 MHz CH10: 341.750000 MHz © 8 MHz ACHO gCH4 DCH8 OCH12 CH0: 37.7772! CH9: 37.5189 
CH3: 327.750000 MHz CH11: 343.750000 MHz O 4 MHz ACHI gCH5 OCH9 OCH13 CH1: 37.7459 CH10: 37.4772 
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图 7 CDAS2 输入 源 设置 
Fig.7 CDAS2 input settings 


Mark6 的 采集 记录 流程 与 Mark5B 不 同 ， 所 有 的 记录 操作 在 一 个 称 为 da-client 的 可 交互 程序 里 完 
成 ，da-client 通过 接口 协议 与 cplane 和 dplane 进行 通信 。 

具体 的 测试 步骤 如 下 : 

(1)# 初 始 化 人 硬盘 模 组 ,分 别 为 4 组 人 硬盘 模 组 

(2) mod, init2 1:8: SHAO. 001 :sg:new; 

(3) mod, init2 2:8: SHAO, 002:sg:new; 

(4) mod, init2 3:8: SHAO. 003 :sg:new; 

(5) mod, init2 4:8: SHAO, 004 :sg:new; 

(6 )# 建 立 虚 拟 硬盘 组 

(7)group=new:1234; 

(8) group=open:1234; 

(9)# 设 置 输入 数据 流 并 提交 

(10) input, stream = add ; CDAS2 : vdif : 103242 :0: eth2:192.168.100.61 : 12000; 

(11)input, stream = commit; 

(12)# 开 始 记录 ,参数 可 配置 

(13 ) record=on 
3.2 测试 结果 分 析 

测试 中 ，CDAS2 采用 Mark5B 格式 器 编码 ， 输 入 数据 记录 系统 Mark6 中 ; Mark6 使 用 分 散 -收集 
(Secatter-Gather，SG ) 模 式 对 输入 数据 进行 记录 保存 ， 保 存 的 数据 包括 meta 数据 与 二 进 制 数据 ， 其 中 
meta 数据 称 为 元 数据 ， 包 含 保存 数据 的 各 种 信息 ， 用 于 将 分 散 的 数据 在 聚合 时 提供 参数 。 
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图 8 为 使 用 CDAS2 与 Mark6 连接 记录 的 5 300 000 VDIF FRAME CHECK 
秒 左 右 的 VDIF 格 式 数 据 " 对 该 数据 进行 解 WES - - Data record on 20160407-5s 


250 000 


检验 ， 横 坐标 为 时 间 ， 纵 坐标 为 秒 内 帧 号 ， 可 以 
看 到 帧 头 信息 联系 ， 数 据 正 确 。 200000 


150 000 


4 总 结 与 展望 


Frame No. 


为 了 应 对 VLBI2010 、 毫 米 波 甚 长 基线 干涉 
测量 及 其 他 日 益 增加 的 宽带 观测 ，Mark6 包括 硬 P 
件 和 软件 的 研发 还 在 更 新 升级 ， 硬 件 的 更 新 表现 


在 后 面板 的 设计 布局 在 不 断 变化 包括 对 应 的 线 20 200000 400000 600000 800000 1000000 1200000 
H 局 在 不 断 变 化 ， 应 的 


Points 


缆 插 槽 也 可 能 更 改 ， 软 件 的 升级 表现 在 数据 采集 
及 更 新 中 支持 指令 的 扩充 及 参数 更 改 ， 这 也 是 
Mark6 在 调试 过 程 中 容易 出 现 问 题 的 主要 原因 。 


图 8 CDAS2 5 Mark6 联 调 测试 结果 
Fig.8 Joint test result of CDAS2 and Mark6 


所 以 ， 在 调试 时 需要 特别 注意 人 硬 软件 版 本 。 


后 续 关 于 Mark6 的 测试 ， 将 考虑 使 用 ROACH 数字 终端 作为 输入 数据 源 ， 并 将 输出 的 数据 使 用 上 


海天 文 台 相关 处 理 机 或 DiFX 进行 相关 处 理 ， 并 测试 32 Gbps 爆发 模式 的 记录 能 力 ， 以 及 对 e-VLBI 和 


回放 的 支持 。 
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Abstract: With the improvement of the data recording rate and higher requirements to the accuracy of the 


data, the traditional acquisition system can not meet the new requirements, and it is urgent to use the new 


terminal and technology. Mark6 is the latest recording terminal that is currently developed by MIT. It has been 


used by the main astronomical institutions, such as JIVE, KASI, Max-Planck-Institute and so on. This paper 


first introduces the VLBI data acquisition terminal and provides the debugging and configuration of the 


hardware and software of Mark6 in Shanghai Astronomical Observatory; Then, the data recording test and 


analysis of the interconnection between Mark6 and CDAS2 are introduced; Finally, the application of Mark6 


system and the subsequent research and development of related software are briefly described. This paper can 


provide guidance and reference for the installation, configuration and upgrade of the follow-up terminal 


acquisition systems. 
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